Validität

Misst unser Verfahren tatsächlich das Konstrukt, dass es messen soll?

Abzugrenzen von der Reliabilität, die aussagt wie genau wir das messen, was wir messen (unabhängig davon, ob wir das auch wirklich messen wollen).

Validität

Es gibt nur verschiedene Arten von Validität, nicht “die” Validität. Es geht also immer um die Validität der Interpretation der Testwerte, welcher unter bestimmten Bedingungen erhoben wurde.

Arten von Validität

Kriteriumsvalidität

Zusammenhang der Testscores mit anderen Variablen (z.B. Erfolg im Beruf, Schulnoten).

Konstruktvalidität

Wird das interessierende Merkmal gemessen?

Konvergente Validität

Dasselbe Merkmal, andere Methode

Diskriminante Validität Anderes Merkmal, selbe oder andere Methode

Multitrait-Multimethod (MTMM) Ansatz

Korrelation zwischen Testscores für verschiedene Kombintationen:

  • Mono-Trait Hetero-Method
  • Hetero-Trait Mono-Method
  • Hetero-Trait Hetero-Method

Validität und IRT

Ideen:

  • Test-Scores (Theta-Werte, WLEs, PVs) können mit den oben besprochenen Kriterien korreliert werden.
  • Wenn man das ganze komplexer modellieren möchte, kann man auch in MTMM-Modelle auf der Basis von Konfirmatorischer Faktorenanalyse schauen (z.B. Eid et al. (2008)).
  • Oder mit Multidimensionalen Item Response Modellen? Man könnte z.B. diskriminante Validität prüfen, indem man einmal undidimensional und einmal mehrdimensional modeliert, und schaut ob das mehrdimensionale Modell deutlich besser passt?

Literatur

Eid, M., Nussbeck, F. W., Geiser, C., Cole, D. A., Gollwitzer, M., & Lischetzke, T. (2008). Structural equation modeling of multitrait-multimethod data: different models for different types of methods. Psychological Methods, 13(3), 230.

Bildquellen